Yellen berkahwin dengan George Akerlof, ahli ekonomi, pemenang Hadiah Peringatan Nobel dalam Sains Ekonomi, profesor di Universiti Georgetown dan profesor emeritus di Universiti California, Berkeley.[13] Yellen dan Akerlof telah bertemu di Fed pada musim luruh tahun 1977. Mereka berkahwin pada bulan Jun 1978. Pada bulan Jun 1981, anak lelaki mereka Robert Akerlof dilahirkan. Robert kini mengajar bidang ekonomi di Universiti Warwick.[14]

Yellen dan Akerlof telah berkolaborasi dalam penyelidikan termasuk topik seperti kemiskinan, pengangguran dan mengenai kos melahirkan anak luar nikah.[15] Kedua-dua mereka sering menyatakan bahawa satu-satunya perselisihan mereka adalah bahawa Yellen lebih kepada menyokong perdagangan bebas berbanding suaminya.[16][15]